其他
关于程序效率的问题,你有思考过吗?
for(;;)
{
void* buffer = malloc(SIZE);
memset(buffer,SIZE);
process(buffer)
free buffer;
}
我让他从这样几个方面入手:
(1)首先分析一些主要花费时间的代码,结果发现是memset这一段从512到1M后耗费时间增多,而且增多并不是线性的,我让他先看一下glibc的memset源代码,如下:
#if defined _LIBC || defined STDC_HEADERS || defined USG
# include
# define flood memset
#else
static void flood (__ptr_t, int, __malloc_size_t);
static void
flood (ptr, val, size)
__ptr_t ptr;
int val;
__malloc_size_t size;
{
char *cp = ptr;
while (size--)
*cp++ = val;
}
#endif
由此可知memset是每字节每字节的赋值的,这并不是机器喜欢的方式,机器希望的是在4字节对齐的位置上进行操作(32位机器,64位机器喜欢8字节对齐),一次读取32位(4个字节)。因此memset完全可以自己实现一个一次性写4个字节的代码。
(2)接下来需要探索的是malloc,事实上linux内存分配有两种,brk,mmap,前者分配128k以内的内存,后者分配128k以上的内存,在改成1M后,
void* buffer = malloc(SIZE);
这一段是很快的,因为只是分配了虚存,并没有载入内存,可以查看/proc/pid/statm,考察内存分配,memset操作前后的变化。
而memset,就需要进行实际的内存分配,缺页中断,加载TLB等等。
而brk分配的内存是glibc管理的内存,分配很快,释放也方便(很多时候其实并不释放)。因此512字节是,使用的brk分配(效率很高),而变成1M后,使用mmap分配(加上memset的低效)因此效率要低很多。
(3) 这段代码如果改成,效果等价性能也会大幅度提升。
void* buffer = malloc(SIZE);
for(;;)
{
memset(buffer,SIZE);
process(buffer)
}
free buffer;
(4)最后需要质疑的是为什么需要开辟1M大小的空间,是否通过了验证,这样做是否有必要,实际情况是怎样的,memset是否需要,是否可以通过什么其他方法来避免这种计算。
由此可见,很多问题,不好的编码习惯,对机器理解的不够透彻是很难再一般的工作中发现,必须在大规模数据处理的实践场合(处理数据量足够大),才能体现出来,因此大规模数据处理技术是软件、硬件相结合的技术,而且不仅仅是技术上的问题还包括了业务上的问题,废代码,废计算应该去掉,不合理的计算应该变得合理。
让你的C程序更有效率的 10 种方法
1、避免不必要的函数调用
考虑下面的2个函数:
void str_print( char *str )
{
int i;
for ( i = 0; i < strlen ( str ); i++ ) {
printf("%c",str[ i ] );
}
}
void str_print1 ( char *str )
{
int len;
len = strlen ( str );
for ( i = 0; i < len; i++ ) {
printf("%c",str[ i ] );
}
}
请注意 这两个函数的功能相似。然而,第一个函数调用strlen()函数多次,而第二个函数只调用函数strlen()一次。因此第一个函数性能明显比第二个好。
2、避免不必要的内存引用
这次我们再用2个例子来对比解释:
int multiply ( int *num1 , int *num2 )
{
*num1 = *num2;
*num1 += *num2;
return *num1;
}
int multiply1 ( int *num1 , int *num2 )
{
*num1 = 2 * *num2;
return *num1;
}
同样,这两个函数具有类似的功能。所不同的是在第一个函数( 1 for reading *num1 , 2 for reading *num2 and 2 for writing to *num1)有5个内存的引用,而在第二个函数是只有2个内存引用(one for reading *num2 and one for writing to *num1)。现在你认为哪一个好些?
3、节约内存(内存对齐和填充的概念)
struct {
char c;
int i;
short s;
}str_1;
struct {
char c;
short s;
int i;
}str_2;
假设一个字符需要1个字节,short占用2个字节和int需要4字节的内存。起初,我们会认为上面定义的结构是相同的,因此占据相同数量的内存。然而,而str_1占用12个字节,第二个结构只需要8个字节?这怎么可能呢?
请注意,在第一个结构,3个不同的4个字节被分配到三种数据类型,而在第二个结构的前4个自己char和short可以被采用,int可以采纳在第二个的4个字节边界(一共8个字节)。
4、使用无符号整数,而不是整数的,如果你知道的值将永远是否定的。
有些处理器可以处理无符号的整数比有符号整数的运算速度要快。(这也是很好的实践,帮助self-documenting代码)。
5、在一个逻辑条件语句中常数项永远在左侧。
int x = 4;
if ( x = 1 ) {
x = x + 2;
printf("%d",x); // Output is 3
}
int x = 4;
if ( 1 = x ) {
x = x + 2;
printf("%d",x); // Compilation error
}
使用“=”赋值运算符,替代“==”相等运算符,这是个常见的输入错误。常数项放在左侧,将产生一个编译时错误,让你轻松捕获你的错误。注:“=”是赋值运算符。b = 1会设置变量b等于值1。“==”相等运算符。如果左侧等于右侧,返回true,否则返回false。
6、在可能的情况下使用typedef替代macro。当然有时候你无法避免macro,但是typedef更好。
typedef int* INT_PTR;
INT_PTR a , b;
# define INT_PTR int*;
INT_PTR a , b;
在这个宏定义中,a是一个指向整数的指针,而b是只有一个整数声明。使用typedef a和b都是 整数的指针。
7、确保声明和定义是静态的,除非您希望从不同的文件中调用该函数。
在同一文件函数对其他函数可见,才称之为静态函数。它限制其他访问内部函数,如果我们希望从外界隐藏该函数。现在我们并不需要为内部函数创建头文件,其他看不到该函数。
静态声明一个函数的优点包括:
A)两个或两个以上具有相同名称的静态函数,可用于在不同的文件。
B)编译消耗减少,因为没有外部符号处理。
让我们做更好的理解,下面的例子:
/*first_file.c*/
static int foo ( int a )
{
/*Whatever you want to in the function*/
}
/*second_file.c*/
int foo ( int )
int main()
{
foo(); // This is not a valid function call as the function foo can only be called by any other function within first_file.c where it is defined.
return 0;
}
8、使用Memoization,以避免递归重复计算
考虑Fibonacci(斐波那契)问题;Fibonacci问题是可以通过简单的递归方法来解决:
int fib ( n )
{
if ( n == 0 || n == 1 ) {
return 1;
}
else {
return fib( n - 2 ) + fib ( n - 1 );
}
}
注:在这里,我们考虑Fibonacci 系列从1开始,因此,该系列看起来:1,1,2,3,5,8,...
注意:从递归树,我们计算fib(3)函数2次,fib(2)函数3次。这是相同函数的重复计算。如果n非常大,fib<n(i)函数增长i<n。解决这一问题的快速方法将是计算函数值1次,存储在一些地方,需要时计算,而非一直重复计算。
这个简单的技术叫做Memoization,可以被用在递归,加强计算速度。
fibonacci 函数Memoization的代码,应该是下面的这个样子:
while(!game_over)
{
for each possible move:
count_no_of_merges_for_2-tiles and 4-tiles
choose the move with large number of merges
}
int calc_fib ( int n )
{
int val[ n ] , i;
for ( i = 0; i <=n; i++ ) {
val[ i ] = -1; // Value of the first n + 1 terms of the fibonacci terms set to -1
}
val[ 0 ] = 1; // Value of fib ( 0 ) is set to 1
val[ 1 ] = 1; // Value of fib ( 1 ) is set to 1
return fib( n , val );
}
int fib( int n , int* value )
{
if ( value[ n ] != -1 ) {
return value[ n ]; // Using memoization
}
else {
value[ n ] = fib( n - 2 , value ) + fib ( n - 1 , value ); // Computing the fibonacci term
}
return value[ n ]; // Returning the value
}
这里calc_fib( n )函数被main()调用。
9、避免悬空指针和野指针
一个指针的指向对象已被删除,那么就成了悬空指针。野指针是那些未初始化的指针,需要注意的是野指针不指向任何特定的内存位置。
void dangling_example()
{
int *dp = malloc ( sizeof ( int ));
/*........*/
free( dp ); // dp is now a dangling pointer
dp = NULL; // dp is no longer a dangling pointer
}
void wild_example()
{
int *ptr; // Uninitialized pointer
printf("%u"\n",ptr );
printf("%d",*ptr );
}
当遭遇这些指针,程序通常是”怪异“的表现。
10、 永远记住释放你分配给程序的任何内存。上面的例子就是如果释放dp指针(我们使用malloc()函数调用)。
-END-
推荐阅读
【01】面试了一个 46 岁程序员……思绪万千……如何从平庸走向理想?【02】干货:单片机编程实例大全【03】我也能写出雷军的的代码吗?最好的汇编语言入门教程在这里!【04】Github上这几个沙雕项目,够我玩三天!【05】(深度好文)程序算法与人生选择